研究大模型门槛太高？不妨看看小模型SLM，知识点都在这
研究大模型门槛太高？不妨看看小模型SLM，知识点都在这我们对小型语言模型的增强方法、已存在的小模型、应用、与 LLMs 的协作、以及可信赖性方面进行了详细调查。
来自主题: AI技术研报
5872 点击 2024-11-24 20:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
我们对小型语言模型的增强方法、已存在的小模型、应用、与 LLMs 的协作、以及可信赖性方面进行了详细调查。
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
自从生成式 AI 和 LLM 在世界舞台上占据中心位置以来，员工们一直在思考如何最好地将这些变革性的新工具应用于他们的工作流程。然而，他们中的许多人在尝试将生成式 AI 集成到企业环境中时遇到了类似的问题，例如隐私泄露、缺乏相关性以及需要更好的个性化结果。
对于 LLM 从业者来说，让 LLM 落地应用并发挥作用需要手动构建并反复调试 Agentic Workflow，这无疑是个繁琐过程，一遍遍修改相似的代码，调试 prompt，手动执行测试并观察效果，并且换个 LLM 可能就会失效，有高昂的人力成本。许多公司甚至专职招聘 Prompt Engineer 来完成这一工作。
让 LLM 在自我进化时也能保持对齐。
近年来，大语言模型（Large Language Models, LLMs）的研究取得了重大进展，并对各个领域产生了深远影响。然而，LLMs的卓越性能来源于海量数据的大规模训练，这导致LLMs的训练成本明显高于传统模型。
Consensus 是一个 AI 驱动的学术搜索引擎，专注于从经过同行评审的科学文献中提炼和总结洞见。利用 LLM 和向量搜索的方式提取 2 亿篇文献中的核心共识，提供更精准的搜索结果。
大语言模型（Large Language Models, LLMs）的强大能力推动了 LLM Agent 的迅速发展。围绕增强 LLM Agent 的能力，近期相关研究提出了若干关键组件或工作流。然而，如何将核心要素集成到一个统一的框架中，能够进行端到端优化，仍然是一个亟待解决的问题。
近日，机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文，主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。
近段时间，AI 编程工具 Cursor 的风头可说是一时无两，其表现卓越、性能强大。近日，Cursor 一位重要研究者参与的一篇相关论文发布了，其中提出了一种方法，可通过搜索自然语言的规划来提升 Claude 3.5 Sonnet 等 LLM 的代码生成能力。